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(54) Verfahren und Vbnichtung zur automatlschen Suche retevanter Bllddatensatze 



(57) Die Erfindung bezieht sich auf ein Verfahran 
und eine Vbnichtung zur eutomatischen Suche relven- 
ter Bflddatensatze aue « ner Monge von n (n £ 2) in einer 
Spetoherelnrlchtung elektrortfsch gespelcherten Blldda- 
tenaatzen, wobei in der Speicheneinrichtiing fur jeden 
der Eridbilddateneetze Badeigenechaften elektronisch 
gespelchertslnd, und wobel die n Bllddatensatze die ge- 
spelcherten BOdelgenschaften mlt Hllfe von Prozeasor- 
mitteln elektroniach verarbatbar si rid. Eine Traininga- 
menge, die die elektroniach geepefcherten Bildeigen- 



schaften von Bllddatensatzen umfafM, wetehe von el- 
nem Benulzerausgewahlt wurden, wind Im Rahmen el- 
nes mit Hirfe der Prozessormittel automatiach gefuhrten 
meschinellen Lernverfehrene genutzt, im eine Ent- 
soheJdungsfunktlrjnfzu ermltteJn. Mlt Hilfeder Enlscnel- 
dungsfjnktlon f werden anecnllettend Systemrelevan- 
zen der Bilddatensatze berechnet In Abhangigkert von 
der jeweiligen Syetemrelevanz werden denn auege- 
wflhlte Bllddaten&etze Im Rahmen dee Suchergebnl&- 
ses zur Ausgabe zur Verfugung gastellt. 
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Beach rei bung 

[0001] Die Erflndung Hegteirf dem Goblet dor Such© bzw. des Aborts von Information, Inbesonderevon eJektrontsch 
gespeicherten Bildem In elektrontechen Date rtban ken. 

5 [0002] lm Zuaemmenhang mrt dem Internet, welches in kurzeater Zeit immer g no Sere Infbrmationamengen zur Ver- 
fugung steltt, besteht wn wachsender Be da rf fur Moglichkeitsn zurgezielten und effektiven Suche nach Information en, 
die In Detenbanken elektronlsch gespelchert sind. Die Probiem&teiiurtg In VerWndung mltderSucrie bzw. dem Abruf 
von elektronJsch gespeicherten Intormatlonen In Datenbanken, welche aid aogenanntes "Information Retrieval" be- 
zeichnet wird, kann wie fdgl formuDert werden: Gegeben iat eine Datenbank mit n Datenaatzen ^ (n k 2). Die 

io Bildsuche bzw. der Abruf von BO dem ist ein Bpezielles Verfahren der Suche in Datenbanken. Bei der Bildsuche handett 
es sich bel den Daten&etzen x } , ^ um n In etektronlscher Form voniegende Bilder. Gesucht 1st eln TeJimenge D^ 
vonreJevantan Datensatzen (eiektron tschen Bfldem) bub dar Datenbank. DieTeilmenge D^, stelft die fur eine bestimm- 
te Frsgestellung einea Bertutzera reievante Menge von Datenaatzen dar. Im Fafl der Bildsuche aind dies beiapielaweiae 
Strandbilder von dar Kuste Hawaii. 

ft [0003] Bel bekannten Verfahren und Vorrtchtungen zur Bildsuche In Datenbanken wird versucht, die reievante Teil- 
menge D^ zunechat mH Hilfe von Schlegwortern zu beschreiben, und angchlis&end eine Suche nfrege mit Hilfe der 
Schlagworter au&gefuhrt . Der Datenbankbenutzer stellt hierbei - metst ohne Kemtnis der gesamten in dor Datenbank 
berajtzten ScWagworteltete - elne textuelle Anfrage; Im oben genannten Belsplel konnte die Anfrage die Worte "Strand 
Hswaf ' umfaaaen. Die textuelle Anfrage wird dann mit Schlegwortern verglichen, die fur die von der Datenbank um- 

20 feftten Bilder jeweHs gespeichert eind- Hierbei wird heufig das sogenannte BoQlsche Suchverfehren engewendei Bei 
dlesem Verfahren hat der Benutzer die MOgllchkelt, die Schlagworte mit AND, OR und NOT zu verblnden. In man chen 
Verfehren bzw. Vorrlchtungen Ist es darOber hlnaus mOgllcri, dlese drel Operatlonen Jewells mrt elner Wlchtung zu 
veraehen. 

[0004] Im Zueemmenhsng mrt der Suche in einer Bilddatenbank treten die folgenden Problame eufc 

26 

1. Wle kann die gesuchten Tellmenge fUr die Suche mit Wife von Worten aystemattech beschrteben werden, 
werai die Datenaatze x, (digitaJiaierte) Bilder aind ? 

2. Die Datenbank umfassen of! eine sehr grofte Anzartl von Bildem (n » 10O.00O), so daft der Benutzer etch nichl 
aire n Bilder anschauen und beurtellen kann. 

30 

[0005] Beim Beachrefoen von Bildem fur die Suche kann grundsatzlich zwiachen zwei urterachiedlichen Anaatzen 
unterschieden werden. In einem Fall wird das Bild digitalisiert, und es werden Merkmale aus dem drgrtaten Bild extra- 
hleri Dieses beglnrtt bel der elnfachsten Besctirelbung mrt Wife von Grau- Oder von Farbwerten Jades Pixels (soge- 
nanntan "low-level features 0 ), d.h. bei einem Bild mit 1 .000 x 1 .000 Pixeln werden 1 .000.000 untercchiedliche Merkmale 

as je Bild extra hiert. Ea ertdet bel Merkmalen, die ala "high-level featurea" bezeichnet werden, wie der Anzahl von Kanten 
und Ecken Oder der Anzahl von Flachen etc. Der Vorteil der verwendung einfacher Merkmale Ist deren schnelle Be- 
rechenbarkett; der Nachtell 1st aOerdlngs, daB dlese Merkmale sehr schlecrrt geelgnet slnd, urn reievante Suchblld- 
mangen zu beschraiben. Obwohl komplexa Merkmale hier deutlich geeigneter waren, ist ihre Extraktkan zur Zeit noch 
mH einem so hchen Aufwand verbunden, daft eine Anwendung im Bereich von Datsnbestenden mit mehr als 10-000 

*Q Bildem aus praktischen Gesicrrlspunkten nahezu unrnogfich ist 

[0000] Bet einem anderen bekannten Verfahren wird eln Bild von einem Menschen "verschlagworteT , d.h. zu Jedem 
Bild wird eine Lisle von texfuellen 8chlagwortem er&tellt, (fie sich auf den Bfldinhall baziehen. Die Vorteile dies or 
aufwendigen MeHcmalsextraktion beetehen derin, daft eine Charaktensierung von ralevanten Bildem in Form von Ver- 
knQpfungen der Schlagworte eJnfaoh mOglloh l$t. Aus tecnnlscner Stoht wird eln Bild x mlttels eJnes Vektors 

** 11 6 dargesteilt (s 1st die Anzahl alter mogllchen Schlagworte); wenn das l-te Schlagwort In der Schlagwortllste des 
Bildea vomanden iat, so iat die l-te Komponente x, dea Vektors x gleich 1, andernfaJla 0. Verknupfurtgen wie Konjunktion 
(AND) oder Disjunktion (OR) von Worten konnen in diesem Fall mrttels mathematischer Verknupfungen, wie Murtipli- 
kaKon und Addition ctergesteiit werden. 

[0007] Die Blldsuchmaschlne berechnet nach dem Start der Suchanfrage fDr jeden der elektronlsch gespeksherten 

50 Bilddatenaitze x 1 x„ eine Syatemrelevanz bezuglich der Suchanfrage. Die Berechnung einer jeweiligen Syalem- 

relevanz ist eine wesentliche Bgenscheft jeder Bildsuchmascfiine bzw. jades Bildsuchverfehrens. Die Effekthrital und 
die QualltOt der Berechnung der Jeweiligen Systemrelevanz 1st fQr den Erfolg des Suchsystems von wesentiteher Be- 
deutung. Zwei prinzipteJI unterschiedlicha An seize haben sich in Verbindung mit der Berechnung der Systemrelevanz 
bei Schlagwort-Suchverfahren durchgeaetzt: 

- Wenn die vom Benutzer erzeugte textueBe Suchanfrage, welche nur Schlagworte umfaftt ols eln Vektor ge {0, 
interpretiert wird, ist es moglich, mit Hilfe der fur die eterdronisch gespeicherten Bilder vorhandenen Schlag- 
wortliaten die Ahnfichkeit der textuellen Suchanfrage mit der jeweiligen Scrdagwortlrate der Bilder bzw. der Bilda- 
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tensetee in der Datanbank zu berechnen und diese Ahnlichkeit als 8ystemralevanzma& zu benutzen. Dieser An- 
setz ist als "vector space model" bekarmt und beiapielsweise in der Druckschrift G. Saltan: "Automatic Information 
Organization and Retrieval 1 , McGraw-Hill, NewYbrk, 1968, beschrieben. 

s - Bei einem artderen Anaatz ist ea mit Hirfe eines Wahracheinlichkeitsmodels fur die Schlagworte in relevanten 
Dokumenten (geachatzt aus dertaxtuelen Suchanfrage, die nur Schlagworte enthalt) moglich, die Wahrschein- 
llchkell zu berecnnen, oaR eln BUd von der Teilmenge Orel umteUt let, und dies© WahrschefllcWcelt ate Systomre- 
levanzmaBzu benutzen. 

10 [0003] Basierend auf den gefundanen System relevenzen fur alle Bilder der Bi Id datanbank warden die Bilder an- 
achHeHend in Abhflnglgtert von den berechneten Syslernrelevenzen geordnet und dem Benutzer angeboten. In der 
Praxis genugt es oft, nur die 100 Bitder mrt den hochsten Werten der System reievanz zu finden - ein Aufgabe, die 
deutlich schneller zu losen ist, als eine weaerrtliche grafiere Anzahl, beiapielaweiae 1.000.000 Bilder zu sortieren. 
[0009] Sollta der Datenbankbenutzer mit dem Suchergebnis noch nicht zufrieden twin, so muft er zuruck zur textu- 

f5 alien Anfrage und dlese veiftndem, z.B. welter elnschranken. In einlgen Systemen hat der Benutzer die Mdgllchkelt, 
eirie Ruckkopplung ("feedback") in Form der Auswahl einee Bildee zu geben, welcnea er fur "eehr ih nlich" oder "nane" 
zu den raJevarrten Dokurnenten D^, halt 

[0010] Eln wesenUlcher Nachtell, den soiche Vertehren aufwefeen, 1st die Tateache, daB Sucharrtragen auf der Basis 
identiacher textueller Vorgaben dea Bertulzera in Verbindung mil einem bestimmten Bildbestand steta das gleiche 

a? Suchergebnis liefem. Dies bedeutet, daft s*ch d»e Benutzer bei der Bildeuche an die Verschlegwoftung der Datanbank 
anpa&aen mOssen, urn die Indlvfduellen Praferenzen und Elgenarten der Datanbank modelOeren zu konnen, da der 
elnzlge Weg r wle Datenbankbenutzer und Suchsystem mltelnander "kommunlzteren" konnen, die textuelle Suchan- 
frage ial. Dieses erfordert von dem Benutzer eine intensive und In der Regel zeitaufwendige "Erkundung" der Spezifik 
der Verschlegwortung der jeweiligen Datanbank, in welcher der Benutzer die Suche ausfuhrt- 

2 * [001 1] Aufgabe der Bflndung Ist e&, eln verbe&sertes Verfahren und eine verbesserte Vorrtchtung fOr die Sucre 
nach elner relevanten Teilmenge von Datensatzen aus elner Menge von Datensatzen, Insbesondere von Bllddaten- 
satzen zu achaffen, die in einer Oaten bank eiektroniscfi geapeichert aind, wobei die EffektMtat und die Qualltat der 
Suche 5ow» die BerJenerfreurtdOchkeit verbeesert warden 8oflen. 

[0012] Nech einem Aspefct der Erflndung 1st eln Verrahren zur automatlGCtien Suche relevanter Bilddatensatze aus 
30 einer Menge von n (n >2) in einer SpeicheranricrrtLmg elektronj&ch gespeicherten Bilddatensalzen geschafTen, wobei 
in der Speichereiniichtung 1ur jeden der n Bilddatensatze Bildeigenachaften elektronisch gespeichert sind, und wobei 
ale n Bilddatensatze und die gespeicherten Bildeigenachaften mit Hirfe von ProzeBcormitteln elektronisch veraroeitbar 
sind, das Verfahren cfle folgenden Verfahrenaschrltte aufwelsend: 

& a) Bereitateilen einer eraten Auawahl von Bilddatenaatzen aua den n Bflddatensatzen mittela der Prazeaaormittel 

zur Auegabe mit Hilfe einer Monitoreinrichtung; 

b) Ausgeben mehrerer der Bilddatensatze der ersten AuswahJ von Bllddatensatzen mit HBfe der Monitoreinrich- 
tung; 

c) elektronischea Erfassen einer jeweiligen Bewertung einea Benutzen? fw wenigatena e*nen relevanten Bildde- 
*Q tensalz aua den mehreren gemaft Verfahrensschritt b) ausgegebenen Bilddatensalzen; und 

d) BereJtstellen elner zweften Auswahl von m (m < n) Bilddatensalzen aus den n Bilddatensalzen In elner von elner 
jeweiligen SystemreJevanz derm Bilddatensatze abhangigen Reihenfolgezur Ausgabe mrttels der Monitoreinrich- 
tung; 

4* wobeJzum BereRstellen derzwelten Auswahl der m Bilddatensatze eln maschlnelles Lemverfahren zum elektronlschen 
Ermitteln einer Entacheidungsfunktion f auagefuhrt wind; wobei die fur den wenigatena einen relevanten Bilddatensalz 
in der Speichereinrichtung elektronisch gespeicherten Bildeigenachaften eine Trainingsmenge fur daa maschinelle 
Lemverfahren bnden; wobei fQr k(kam) Bllddateneatze mtt Hllfe der Entschel&ngsfunJctlon fund der Jeweiligen elek- 
tronisch gespeicherten Blldelgenschaften die Jewelllge Systemrelevanz ermlttelt wlrd; und wobei die k Bilddatensatze 

50 zumindest einen Teil der m Bilddatensatze der zweiten Auawahl umfaaaen. 

[001?] Nach einem weheren Aapekt der Erfindung ist eine Bildauchvorrichtung geschaffen, die Bildaucrivorrichtung 
aufwelsend: 

- einer Bpeichereinrichtung zum etektroniachen Bpeichem von n (n 2 2) Bilddatenaatzen und jeweiligen Bildeigen- 
66 BchaftBdaten, die den n Bilddatensalzen jeweils zugeordnet sind; 

- elner Momtorelnrichtung zum Ausgeben elner ersten Auswahl von Bllddatensatzen aus den n Bllddatensatzen; 
Erfassungsmitteln zum eleldrani&chen Erfassen einer jeweiligen Bewertung eines Benutzens fur wenigatens einen 
retevanten BiUdatenaatz aua der eraten auagegebenen Auawahl von Bilddatenaatzen; 
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- ProzBSSormitlaln zum automatischen Ausfuhren eines meschinellen Lemverfahrans, um eina EntBcheidungsfunk- 
tion untar BenjcksicHigtmg der fur den wenigsteng einen reJeventsn Bilddatensatz in der Speichereinrichtung 
elektronlsch gespeicherten Blldelgenscheflen zu ermffleln, und zum elektronlschen Ermltteln einer Jeweiligen Sy- 
stemrelevanz fQr m (m £ n) Bflddalensatze der n In der Speicherelnrlchtung dektronlsch gespelcherten Bllddaten- 

s seize mit Hilfe der Eritacheidungaf unMion f und der jeweiligen elektroniach gespeicherten Bildeigenschaften; und 

- Berertstellungsmitteln zum Berefetellen einer zweitan Auswahl von Bilddatenaatzen in einer von der jeweiGgen 
Systemrelevanz ebhenglgen Relhenlblgezur Ausgebe mlttels der Moriltoralnrichlung, wobel die zwelte Auswahl 
von BOddalensatzen k (k 2 m) BlkJdatensatze der m BlkJdatensatze umfaBt. 

to [0014] Die Erfindung umfellt den wssentJichsn Grundgedenken, sine von dem Benutzer einer Bildsucheinrichtung 
eusgewehlte Tellmenge relevanter Bllder bzw. die zugeh&lgen BOddetenselze als elne Traimngsmenge fUr ein ma- 
schinailes Lernverfahren der Bildsucheinrichiung zu nutzen. Im Rah men dee elektronisch ausgefuhrien rnaschi rial ten 
Urrtverfahrefia werden die den BiWem sua der Trainingarnenge zugeordneten Bildeigenschaften elektroniach venar- 
beitet, wo bei rnathematiBche verfahren genutzt werden, um relevante Bilddatenaatze in einer Datenbank einer erfafiten 

15 Suchanfrage entsprechend eufeusuchen und fOr elne Weltewrarbeltung, Insbesondere die Ausgabe Ober elnen Mo- 
nitor zur Verfugung zu stellen. 

[001 sq Ein weeenUicher vorteil der Erfindung beateht darin, daft die unkomfbrtable Suche mittela Schlagworten durch 
elnfaches Bewerten von Suchergebnlssen, belsplelswetse per Mauskllck ersetzt werden kann. Auf dlese Welse wlrd 
der Benutzer des Suchsystema von der im Stand der Technik notwendigen Bildbeachreibung (digitate Merkmale und/ 

2D oder Schlegworte) befrert 

[0010] Ein weiterer VorteJi der Erfindung besteht darin , daft stch das Suchsystem mJt Hilfe der Nutzung des maschl- 
neilen Lem verfahrens an den Benutzer anpaUt, und nlcht umgekehrt, wte es belm Erlemen der spezlflschen Versch lag> 
wortung der Datenbank durch den Benutzer der Fall isL Wahrend bei den bekannten Suchsyatemen davon auagegan- 
gen wird, deft des &'ld such system (intern) mit einer Sucrianfrege q erbeHet, wird dieses Peredigme durch das me- 

& echlnelle Lemen einer Entschetdungsfunktlon f abgelost In der Praxis bedeutet dies, de& keln allgemelngOltlges Ahn- 
llchkeltsmall zwlschen Textanfrage o; und BlkJem x geftmden werden muB. 

[0017] Das netie verfahren kann in Verbindung mit beatehenden elektroniach gespeicherten Bildbeachreibungen 
genutzt werden und erfbrdert keine aufwsndige neue Vbrverarbeitung von Bilddatsnbanken. Daruberhinaus iat das 
Verfahren In der Lage, (elnfach zu extrahlerende) dlgltale Merkmale zu benutzen, um die Systemrelevanz bestmbgllch 

30 der Banutzerrelevanz (ausgedruckt durch die dem System unbekannte Menge D^) anxupassen. 

[001 0] Da aich der Benutzer dea neuen Suchverfahrens bzw. der neuen Suchvomchtu ng bei der wiederfiol ten Aus- 
fuhrung dee Verfahrens nach jeder Ausgabe von Suchergebnissen emeut fur relevante BiHer entscheiden kann, dii. 
elne emeute, von der vorherigen Bewertung unabhdnpjge Bewertung vomehmen kann, wind ein sogenanntes "creative 
drifting" unterstutzt Dieses bedeutet, dad ein Benuztar, der anfanglich Strandbilder von HaweJ suchta, sich bei der 

SB erneuten Bewertung enden? entecheiden kann. Find at der Benutzer im auegegebenen Suchergebni& ein Mot™, das 
eeinem Such wu nach eher entapricht, beispieteweiee einen Strand in Australian, so kann er nur noch Bilder von Au- 
strallens Stranden als relevant bewerten. Auf dlese Welse wtrd das urspringllche Konzept einer KQste Hawafs bei der 
erneuten Bewertung ignoriert 

[0010] Eina zweckmaGige Wertarbildung der Erfindung slant vor, daft die erste Auswahl von Bilddatanaatzen aua 
40 den n Biddatensatzen mitteis einer Schlagwortauche ermittalt wird, wodurch das neue Verfahren auf einfache Weise 
mJt der aus dem Stand der Technik bekannten Schlagwortsuche tomblnlerbar 1st. 

[0020] Eine hinsichtlich einer verbesserten Benutzerireundlichkeit bevorzugte Fortbildung der Erfindung stent vor f 
da B das eleMronische Erfassen der jeweiligen Bewertung das Benutzsrs fur den wenigstena einen relevanten Bildda- 
tensatz gemafS Verfahrensschrltt o) die Erlassu ng einer BeteHgung eines eiektronJschen Auswahi mttteis, Insbesondere 
45 einer Mauselnrlchtung umfafit welches mit der btonftorelnrtchtungzusar Insbesondere bei derVerwendung 

der Mauseinricrrtung 1st ein Verfahren geachaffen, welches ea dem Benutzer ermoglicht, aich bei der Aus we hi der 
Bilddatensatze auf die dargeatellten Datensatze zu konzentrieren und gleichzaitfg auf einfache Weise sine Auswahl 
zu treffen. 

[0021] Zur MlnJmiefung des eiektronlschen RechenaufWands und zur BeschJeunigung des Verfahrens kann bei einer 
so bevorzugten Ausgestaflung der Erfindung vorgeaehen sein, dad die jeweflige Bewertung dea Benutzera fur den we- 
nigstena einen relevanten Bilddatensatz gemafS Verfahrensschritt c) als sine bins re Bewertung elektranisch erfaBt 

wird, so daB Jeder bewertete Bilddatensatz als ein reievanter Bilddatensatz und Jeder nlcht bewertete Bilddatensatz 
els ein nicht-reievanter Bilddatensatz erfafibar isf . 

[0022] Um daa Verfahren hinajchtiich der Verfahrenadauer zu minimieren, kann eine zweckrnau^e Weiterbildung 
66 der Erfindung vorsehen, da& die Entschaidungsfunktion f im Rahman daa maachineilen Lernverfahren s so ermittalt 
wird, daU das eiektronlsche Ermltteln der jeweiligen Systemrelevanz hinsichtlich der hierfOr benOtlgten Zeltdauer op- 
timjert 1st. 

[0023] Daa maschinelie Lernverfahren kann zweckmafiig mtt Hilfe einea Perzeptron-Lernverfahrena auagefuhrt wer- 
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den. 

[0024] UmdB&maBcHnelleLemvgrfohreri such in Verbindungmrt vortiande n»n Datenbanken eusnjhrenzu kdnnen, 
stent eine bevorzugte Ausfuhningsfbrm der ErflrxJung vor, daU gespelcherten Blldelgenschellen mtt Hilfe der Prozes- 
sormlttel elektronlsch auswertbare Schlagworte umfessen. 
5 [0025] Die Erfindung wind im Folgenden snhand von Auafuhrungabeispielen under Berziignahme auf eine Zeichnung 
naher erla uteri- 

[0020] Flgur 1 zeJgt etna schemetlsche Darsteflung einos Blockdlegrsmme zur Beschrelbung eJnes Verfahrens zur 
automatlschen Suche relevanter Bllddalensatze. 

[0027] Eine zur Suche zur Verfugung atehende Menge D von Bitder iat in elektronischer Form mtt Hflfe von n Bi!d- 
w daten&etzen x 1( x n (n £ 2) in einer Datenbank gespeichert Im Folgenden wird davon ausgegangen, daft die Bilder 
vorscrilagwoftet slnd, d.h. fur Jedes der Bilder slnd Blldelgenschaften In Form einer Schlegwortllste geWdet, wobel die 
jeweilige SchJegwortf ste in der Datenbank als elektrontsch recherchierbarBr Schlagwort-Vaktor gespeichert ist. Fur 
die Ausfuhrung dea erfndungagerna&en Verfahrena kdnnen jedoch beliebige andere Bildrigenachaften genutzl wer- 
den, wenn diese in elektronischer Form Bpeicherbar und verarbeitbar Bind. Beicpjelsweise kdnnen digilale Merkmale, 
f3 Gran- Oder Farbwerte Oder Farbrdstogremme genutzt warden. Besonders cfle Elnbezlehung von Fefthlstogrsmrnen 
wurde es eriauben, Atmosphere, Stimmurig und Stl dea jeweiligen Bildes zu twcksichtigen. Fine Ausnutzurtg der 
Struktur und der Form dea Bildes ist be«p»teweise mil Hilfe von Merkmalen aire einer Wavelet-Analyse moglich. Die 
Nutzung von Sctilsgwortllsten hat den Vortell, daB das Suchsystem wahrwelse mlt klassJschen SchJagwort-Suchtech- 
niken kombirdert warden karai. Auch eine kombin ierte Enbezieriung der Schtegworte und eine Oder mehrerer digrtalet 
20 Meriunele kann zweckmaGig vorgesehen sain, um die QueGtst dar Suchergebnisse zu verbessem. 

[0026] in dlesem Zusammenhang 1st enzumerken, dad die BDdbeschrelbung el n entecheldender Faktor fOr die Qua- 
lity Jedes Blldsuchsystems darsteUt. Wenn die elektronlsch gespelcherten BlUelgenschaften (Sdilagworfllsten) der 
Bilder bzw. BDddatenaatze nfchta m it den Bildinhalten zu tun ha ben, so ksm man von keinem Bi Idauchayatem ainnvolle 
Ergabniaae erwertsn. 

26 [0028] Go mflC Flgur 1 wind zunechst eine erste Auswahl von Bl idem , d-h. der zughOrlgen BikJdetense fee zur Ausgebe 
Qber eine Monltorelnrichtung (nlcht dargeatellt) benettgeatell! 1, die mlt dnem Computer verbunden Ist Der Computer 
iat seineraeita mil der Datenbank verbunden, in weicher die Menge D von BikJdatensatzen elektroniach gespeichert 
ist Die arete Auswahl kann mit Hilfe einer Schlagworteuche erzeugt warden. Es konnen auch andere Suchverfahren 
genutzt warden. Wenn die Schlagworteuche genutzt wird, 1st slchergesteJIt, daft das Im Folgenden beschrlebene Ver- 
sa fahren funktioneJe Erfordemisse von bakannten SchlagwDrt-Suchsysternen erfullt, d.h. mrt diesen zusamrneriwrken 
karm bzw. in Verbindung mit dieaen genutzt warden kann. 

[0030] Anschlieaend word en zumindest einiga der Bilder der ersten Auswahl mrt Hilfe der Monrtoreinricrrtung aus- 
gegeben 2 (vgl. Flgur 1). Der Benutzer kann dann mlt Hilfe von Auswahl mltteln das Computers zu mlndestens elnlgen 
Suchergebnissen (ausgegebenen Bidem bzw. Bilddatansatzen) eine je weilige (binara) Wartung bj e {-1 , +1 } abgeben, 
W wobat -1 badautat, daft das enteprechenda Bild nichts mit der gaauchtan, raJavantan TaQmange von Bildsm Drai zu 
tun hat wahrend +1 eine gewisse "Nahe" bzw. Ubereiristimmung des jeweiligen Bildes zu den retovanten Bildem 
ausdrQckt. Hlerbel Ist es nlcht notwendlg, daB aHe prasentlerten bzw ausgegebenen Bilder bewertet werden. Die 
Bewertung fuhrt der Benutzer bdspielswaise mittals eines einfachen Mausklicks aus f weicher mit hilfe des Compulers 
alaktroniach arfaftt wird 3 (vgl. Figur 1 ) und dam jeweiBgen Bild elaktroniscri zugeordnat wird. Fur die Bewertung kdnnen 
beliebige Auswahl mittel des Computers genutzt werden, die die Erfassung der Bewertung derail ermdglichen, dafi die 
erfaBte Bewertung anschlleBend dem Jeweiligen Bild zugeordnet werden kann. Zu den nutzbaren Auswahl rnttteh ge- 
hdrt zum Beispiel eina Tastatur des Computers. 

[0031] In diasamZusammanhang wirdein wasantlicharVortail Varfahransdeutlich. DasBewartandarausgagabanen 
Bilder 1st in sehr kurzer Zen, beJsplelsweise in weniger als einer Sekunde moglich. im Qegensatz dazu erfordert die 

45 Bewertung elnes Textes, wle es bel bekannten Schlagwort-Suctvnaschlner notwendlg 1st, UHlcherwelse mehrere Ml- 
ntilen. Es iat reaO attach anzunehmen, dafl der Benutzer in der Regel nicht mehr ate 100 Bilder bewerten wird. 
[0032] Die bewaKalen Bilder bzw. Bilddatensatze - walche ma ist nur ainan eehr Ueinan Tail dar gesamlan, fur die 
Suche zur VerfOgung stehenden Menge D ausmachen - bDden eine Ttalnlngsmenge fUr oir anschlleftendes maschl- 
nelles Lernverfahren 4 (vgl. Flgur 1}, welches mlt HIITe des Computers automatlsch ausgefQhrt wird. Im Rahmen des 

so maachinetlen Lemverfahrena wird versucht eine reellwertige Entacheidungafunktionf: D-»9i zu lernen, diemogltchat 
genau die Bewertung der vom Banutzer direkt zur Verfugung gestagen bzw. bewertatan Bilder (Trainingsmange) nach- 
blldet HierbeJ 1st die Anwendung von Varfahren wie des als solchen bekannten Perzeptronlernens (M. Rosenblatt: 
Principles of neurodynamics: Perception and Theory of Braim Mechanism, Spartan-Books, Washington D.C., 1962) 
Oder der aogenannten "Support Vector Machine" (C. Cortea und V. Vapnik: Support Vector Networks in Machine 

66 Learning, 20273-297, 1995) moglich. Bei der automatischen elektronischen Ausfuhrung des maschinellen Lemver- 
fahrens wird zweckmdBIg die Tatsache eusgenutzt daB es bn Gegensalz zu klasslsohen FregesteJlungen maschi nailer 
Lem varfahren nicht von wesentlicher Bedeutung ist, daB ein Vbrhersagefehler (der Rdevanz) auf nicht zum maschi- 
nellen Lemen genutzte Bilder der Menge D aehr klan iat, da es bei der praktiachen Umsetzung dea Verfahrena genugt, 
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wenn mjndestens ein BikJ der Taitmenge der reJeventen Bilder D^ gefunden wunde. 

[0033] Die im Rahmen das machine Hen Lemverfahrene errnfttelte Entscheidurigsfunktion f wird anachlieGend be- 
nutzt, um den BlWer der Menge D etne neue Relevanz zuzuwelsen a (vgL Flgur 1), weiche zu der vom Benutzer 
Indvtduel vergebenen Bewertung passend 1st Danach werden die Bllder der neuen Relevanz entsprechend sortlert 
6 und zur Ausgabe mittels der Monitoreinrichtung bereitgeateltt bzw. arigeboten 7 (vgl. Rgur 1). Bei der Berechnung 
der neuen Reievanz, kann es vorteilhaft sein, nn fur eine Tail merge {> 10.000} der Gesemtmenge D von Bildem die 
neue Relevanz zu berechnen, wenn die der BikJbestand In der Menge D sehr grofj tot (beispieisweise > 10 000 000). 
Hlerdurch wird der RechenaufWand vermJndert, was Insbesondere zur VerkOrzung des hlermlt verbundenen Zeltauf- 
wanda fuhrt. 2weckmafiig wird die neue Reievanz mit Hilfeder Entscheidungsfunktion hierbeizuminde&l fur die Bilder 
berechnet, die von der ersten Auswahl 1 (vgl. Fig ur 1) umfoftl elnd. 

[0034] Der beschriebene und In Flgur 1 schemstlsch dergestelte Ableuf kann wtederhort eusgenjhrt warden, bis der 
Benutzer ein oder mehrera relevante(s) Bild(er) gefunden hat oder eine voUslandig neue Suchenfrage starten rnochte, 
d.h. die Menge sjcti andert 

[0035] Eine Kernkomponsnte des beschriebenen Verfahrera ist die Verwendung des maschinellen Lemverfahrora, 
da euf diese Wetee In elnem sogenannten "Information Retrieval System" erstmallg Methoden des Klasslrlkellonsler- 
nene mit der Suche von Bildem in elektraniechen Datenbenken verbimden werden. Ein ma sch in el tea Lernverfahren 
ist eine Prozedur,welcheau» einer gegebenen Menge von Entscheidungsfunktionen aufderGrundlage der Train iigs- 
menge eine Entscheldungsfunktlon f auawflhlt (ertemt). Zlel der Auswahl 1st es, dlejenlge Entscheldungsfinktion r zu 
linden, weiche auf noch nicht geaehenen Bildem der Menge D von Bildem bzw. Bilddatenaatzen die wenigaten Fehl- 
entechekJungen (bezuglich der ReJevenz) trifft Die noon nicht gesehenen Bilder umfeesen hierbei die Bilder der Menge 
D, weiche dem Benutzer fur eine Bewertung noch nicht Ober die Monitoreinrichtung ausgegeben wurden. Der Unter- 
schled zwtechen dem Fehter, wetohen die gelernte Funktlon f und die beste Funktlon r auf die noch nicht gesehenen 
Bilder erzeugen, wird Generalisiemngsfehler genannt Grundaatzlich lessen sich Lernverfahren nach zwei Kritenen 
bewerton: 

f) Wie kleki let der General Islenjngsfehler Im Durchschnltt, d.h. gernfflett Ofcer hauflges Lernen? 

ii) Wie aufwendig ial das Lernverfahren in Abhanigkeit von der Anzahl der von der Trainingamenge umfaGten 

TrainingsbeispieJe ? 

[0036] Obwohl es bei vielen Anwendungen darauf ankommt, daQ sowohl der GeneraiisiBaingsferder ate euch der 
Rechenaufwand Met n arid - eti oft nicht zu realiaierendea ZieJ-iatesim FaJle des hier beschriebenen Suchverfahrena 
eher von sekundarer Bedeutung, wie aufwendig der Lernalgorithmus ist, da in der RegeJ maximal 100 vom Benutzer 
bewertete Bl der tm Rahmen der Training smenge zur VerfOgung gestellt warden. Es genugt dem Benutzer des Blld- 
suchsystems oft, wann er bereits einas dar ralevanten Bilder innerhalb der ersten 30 Blder pra&entiert bekommt. 
[0037] Grundaatzlich ist in Verbindung mil dem beschriebenen neuen Suchverfahren jedea maachinefle Lernverfah- 
ren esisetzbar, welches Vektoren x (die Hldbsschreibungen, beispielsweise Scnlagwortvektoren) als Eingabe hal und 
reefte Zahlen (die berechneten Systemrelevanzen) als Ausgabe lletert. Ailerdlngs 1st es vorteilhaft, wenn das Lernver- 
fahren explizrl vereucht, Entscheidung&fLiiktionan zu finder, bei denen die Berechnung der Relavanz auf noch nicht 
gesehenen Bildem sehr schnefl geschiehi Gegenwartig werden varsilgemeineHe lines re Funktionen bevorzugf : 



wob» die Funktionen ft : D ft els Basisfunktionen bezeichnet werden. w 1( w H sind die vom Lernverfahren zu 
bestlmmenden GrOJen. Es kann gezelgt werden, de& es tOr eine sehr grofle Klesse von Lernverfahren mogllch 1st. 
den folgenden Ansatz zu machen: 



wobei x 1 , x t (t < n) die vom Benuzter bewerteten Bilder (Bildbeschreibungen) sein sollen. Der Varteil eines soichen 
Ansatzes wird eraichtiich, wenn man Qeichung (2) in Gteichung (1) einsetzt: 





(2) 
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[0036] AnsteBe N Parameter w 1 w N lemen zu mQssen, was oft zu Problemen, wle der Oberanpassung an die 

Trairingamenge (aogenanntes "overfitting") fuhren kann, aind nur noch t<100 Parameter Of zu lemen. Insbe- 
20 sender* im Bereich der Bildsuche ist die Anzshl N der Schlegworte w*it grgfter abg a*e Anzehl bewerteter Bilder I. 
Wettertiln erglbt slch, deB es ausrelchl, die Funktlon K, die els Kern bezelchnet wlrd (vgl. G. Wahbe: Spine Models 
tor Observational Data, Society tor Industrial aris Applied Mathematics, Philadelphia, 1990), zu speztflzleren. Bel der 
praktiachen Anwendung wird gegenwartig derfcrfgerrde Kern bevorzugt 

26 



30 



- o 

S Xi'X'i 



+ c 



1 



,C€« + 5 p€ {1,2,...} (5) 



[0038] Dleeer Kem hat den Wgenden VorteO: Wenn p=2 gilt, denn bedeutet dlee. deft Bestefunktionen $ benutzt 
warden, die van der Gestalt Xj - Xj sirtd, d.h. bai Bildbeschreibungsvekteran xe(0,1}* einer logischen Verknupfung 
36 mrttete Kbnjunktion (AND) des ken und j-ten Schlegwortes entsprechen. Fur gro&ere p entspricM dia& belspielsweise 
Merkmalen , we ' Hes, j-tes und k-tes Scrilagwort Bind gleichzeitig aufgetreten". Verallgemeinert ausgeoYuckt bedeutet 
dies, daft Kbrrelatlonen zwlschen Schlagworten bis zur p-ten Ordnung ertettt werden. CHeZaM c steuert die a-prlorl 
GewichUng von Qchlagwortkombinetionen. 

[0040] Baeierend euf der hier offer barten Begchrei bung von EnrtBcheidungsfunktjonen sind beispieJgwe&e Anwen- 
«0 dungan von Lemverfahnsn vwa (a) "Support Vector Machine" (vgl. beispielsweise C. Cortes und V. Vfapnilc Support 
Vector Networks m Machine Learning, 20273-297, 1995), (b) "Bayes Point Machine" (vgl. belsplelswelse R. Herbrlch 
et el.: Bayes point machines: Bayes point in kernel space, Proceed ngs of 1JCAI Workshop Support Vector Machines, 
1999), (c) "Linear Programming Machine" (vgl. beispietewsise T. Graepel et sL: Classification on proximity data with 
LP-machlnes, Proceedings of the Ninth International Conference on Arttfldal Neuronal Networks, 1999) Oder (d) dee 
45 bekannte Perzeptron (vgl. belsplelswelse M. Rosenblatt Principles of neurodynamics: Perceptron and Theory of Bralm 
Mechanism, Spartan-Books, Washington D.C., 1962) nutzbar. Gegenwartig wird dss Perzeptrardernverfahnen bevor- 
zugt, da gezeigt werden kann, daft dieses Lernverfshren m'rt dem geringsten Rechenaufwsnd ga rented zu Losungen 
a = (Oh, ». ott) fOhrt, bel denen nur wenlge Koefflzlenten % von Null verscrdeden sind - eine letseche, welche die 
Berechnung neuer Systemrelevanzen durch die gelemte EntscheloXingsfurOctton f sehr beschleunlgt. Des welleren 
so wurdeder orginale Algortthmua um eine aulomatoche Adaption dea sogenarmten Ridgeterms erweitert, d.h. wenn daa 
Lemverfahren nech einigen, belspielsweise nsch zehn rteretionen durch die gesamte Treiningsmenge noch nicht be- 
en det 1st, wird die Kemtunktion ver&ndert zu 
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K(x,jO = 




wenn x * x 



wean x = x 
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[0041] Der Parameter A wird nun nach und naGh ertioht und es kann gezeigt warden, dafi dies zur Termination des 
Algorithmic bzw. Verfehrens fOhren miA. 

[0042] Das basch riebene Verfah ran zum automatischen Suchen rele venter Bilddatensatze kann mii Hilfe eines Com- 
puterprogamma auf einem cfigitalen Computer, beiapiefswetae einem Personal-Co mpuler, einem Netzwerk- Computer 
oder einer Servereinrichtung installiert und ausgefuhi werden. Die vorfiegende AnmekJung bezieht sicri auch auf ein 
Gomputerprogmmm-Prpdukt, welches In eJne Spelcherelrvlchlung eirves dlgftelen Computers geladen warden kann, 
wobm das Computefprogramm-Produkt SunNverecode-Abachnrtte zum Auafuhren der inebeeondere in einem der An- 
cpruche 1 bis 7 offenbarten Verfahrensachritte umfafot, warn das Computerprogi^iTi-Produkt auf dem digrtaten Com- 
piler genutzt wind. 

[0043] Die in der voratehenden Beachreibung, den Anapruchen und der Zeich ruing offenbarten Merkmaie der Erfin- 
dung konnen eowohl einzeln ala auch in beliebiger Kombi nation fur die verwirkl ichung der Erfindung in ihren veractf e- 
denen AusfUhrungsformen von Bedeutung seln. 



Pvientenepvvche 

26 

1. Verfahren zur automatischen Suche retevanter Bilddatenaatze aus einer Menge von n (n 2 2} In einer Spelcner- 
einrichtung elektroniach gespeicherten Bilddatenaatzen, wobei in der Speichereinrlcrilung fur jeden der n Bildda- 
tenaatze Bifdeigenachaften elektronisch gespeichert Bind, und wobei die n BikJdatenaatze und die gespeicherten 
Bfldelgenacrieften mlt Hilfe von Prozessormltteln elektronlscri verarbeltbar slnd, dee Verfahren die folgenden Ver- 
fahransschritte aufweisend: 

a) Bereitetellen einer ereten Auawahl von BikJoatensatzen am den n Bilddatenaatzen mitt els der Prozewor- 
mrttel zur Auegabe mlt Hilfe einer Monltorelnrtchtung; 

b) Ausgeben m eh rarer der Bilddatenaatze der ersten Ausward von BBddaterisatzen mrt Hilfe der Manitcrein- 
36 richtung; 

o} elektroniBcrtea Erfaasen einer jeweiligen Bewertung einee Benutzers fur wenigatena einen relevanten Bild- 
datensatz aus den mehreren gemafi Verfahrensschrltt b) ausgegebenen Bllddatensatzefi; und 
d) BarertsteJIen drier zwoiten Auswahl von m (m < n) Bilddatensitzen aus den n Bilddetensatzen in einer von 
einer jeweiligen Syatemrelevanz der m Bilddatenaatze abhangigen Reihenfbtge zur Auagabe mitteJ* der Mo- 
40 nitoreinricritung; 

wobei zum Berettsteflen der zwerten Auswahl der m Bilddatenaatze ein maschinelies Lemvarfahren zum etektro- 
nischen Ermrtteln einer Entscheidungafunktion f eusgefuhrt wird; wobei die fur den wenigatena einen relevanten 
Bilddatensatz in der Speictiereinricritung elektroniach gespeicherten Bitdeigenachaften eine Tnuningarnenge fur 
45 das maschlneile Lemvertahren bllden; wobei fUr k (k £ m) Bilddatenaatze mlt Hilfe der EntscheldungsfUnWJon f 
und der jeweiligen etektraniach gespeicherten BiMeigenachaflen die jeweilige Syatemrelevanz errnitteit wird; und 
wobei die k Bilddatenaatze zurrdndeat einen Teil der m Bilddatenaatze der zweiten Auawahl umfaaeen. 

2. Verfahren nach Anspruch 1, dadurch gekennzeldinet, dafi die erste Auawahl von Bilddatensatzen aus den n 
50 Bilddatenaatzen mrttete einer Schlagwortauche errnitteit wird. 

3- Verfahren nach Anapruch 1 oder 2, dadurch gekennzelchnet, dafl das eJektronlsche Erfasaen der jeweiligen 
Bewertung des Benutzers fQr den wenlgstens einen relevanten BDddatensatz gem ail Verfahrensschrltt c) die Er- 
faaaung einer Betatigung einea elektroniachen Auawahlmittela p inabeaondere einer Mauaetnrichtung umfafit, wei- 
66 chee mit der Mon rtorei nricrrtung zuaammenwirkt 

4. Verfahren nach einem der vorangehenden Ansprucrie, dadurch gekennxefchnet, daft die jeweilige Bewertung 
dea Benutzers fur den wenigatena einen relevanten Bilddatenaatz gemafl Verfahrenaachritt c) ala eine binare Be- 
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wertung olektronisch erfafit wird, so daft jeder bewertete Bilddatensatz a Is ein nele venter Bilddatensatz und jader 
nicht bewertet Bilddatensatz gig ein nktt-reJevariter Bflddatenaetz erfe fiber ist 



w 



Verfahren nach einem der vorangehenden AnsprUche, dadurch gekennzelchnet daS die Entscheldungsftjnktlon 
f im Rahmen dea maachineiler Lemverfahnena so ermittett wind, daft dm elektrariache Ermitteln der jeweiflgen 
Syatemrelevanz Nnsichtlich der Nerfur benotigten Zeitdauer cptimiert ist 

Verfahren nach einem der vorangehenden AnsprQche, dadurch gekennzeJchnet, dafl das maschJnelte Lemver- 
fahren eta ein PerzeptrooLemverfariren ausgefuhrt wird. 

Verfshren nach elnem der vorangehenden AnsprOche, dadureh gekennzeJchnet, daH die geapeicherten Blldei- 
genschaflen mit Hilfe der Prazessormittel elektroniscri auswertbare Schlegworte umfassan. 



8, Bldsjchvomcritung mit: 

13 

- einer Speicriereinriditung zum elektrpniachen Spefchem von n (n > 2) Bilddatensstzan und jeweiligen Bildei- 
gerwchaftedaten, die den n BiWdatensatzen jeweite zugeordnet Bind; 

- elner Monfoxelnrtchtung zum Ausgeben elner ersten Auswahl von Bilddatensdtzen auadenn Bllddatensatzen; 

- Erfassungsmittaln zum eleklronischen Erfassen einar jaweiligen Bewertung einas Ben utters fur wenigstens 
20 einen releventen Bilddatensatz aus der ersten euegegebenen Auswahl von Bilddaleneatzen; 

- Prozeasormitfeln zum automatlschen AusfGhren elnes maschlnellen Lemvarfehrens, um elne Entecheldunga- 
funktlon unter BerOckslchtlgung der IQr den wenigstens elnen relevanten Bllddatensatz In der Spelchereln- 
richlung elektroniaeh geapeicherten Bildeigenachaften zu ermitteln, und zum elektroniachen Ermitteln einer 
jaweiligen SyatemreJevanz fur m (m < n) BOddstensstze der n in der Speichereinrichtung elektronfech gespei- 

2f > cherten Bllddatens&tze mit Hilfe der Entscheldu restoration f und der Jewelllgen etektrontech gespelcherten 

Blldelgenseharten; und 

- Bereitate ii ungamitteln zum Bereitatellen einer zweiten Auswahl von Bilddate naateen in einer von der jewei Dgen 
Syetemrelevanz abhangigen Raihenfblge zur Ausgabe mittela der Monrtoreinricritung, wobei die zweite Aus- 
wahl von Bllddatensfltzen k (k s m) BlkJdatensdtze der m Bllddatens&tze umfaBt. 

9. BfldaLJChvorrichturig nach Anapruch 8, gakannzalchnat dune* Suchmittet zum Auafuhren einer Schlagwortauche 
zum Sucrten der eraten Auawahl von Biiddatensatzen. 



1 0. Computarprograrnrnpaxkikt, welches in einen iniemen Speichar einar Computer® nrichtu ng lad bar ist und welches 
Compirterprograrnmabschnrtte zum Auafuhren der Verfahrenaachritte nach einem der Anapruche 1 bis 7 beim 
Abarbeiten dea Computerprogrammprodukts in derComputereinncritung umfaltt. 

11. Computarprogrammproduld nach Anspruch 10, wobei wenigstens die Computerprogrammabscrinitte auf einem 
von der Computereinriditung lesberen Speichermedium gespeichert sind. 

40 
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